CONF-KV: Confidence-Aware KV Cache Eviction with Mixed-Precision Storage for Long-Horizon LLM
CONF-KV：面向长序列LLM的置信度感知KV缓存淘汰与混合精度存储
🧭 长上下文LLM推理 · 置信度驱动KV缓存淘汰
Carnegie Mellon University
利用模型生成时的置信度动态调整KV缓存预算，结合混合精度存储和分层金字塔预算，在低内存下保持长文本理解精度。
📌 工作参考价值（4 点）
- 电商Agent等长对话/工具调用场景中，KV缓存迅速膨胀，可借鉴置信度感知淘汰策略：当模型对下一token预测不确定时保留更多历史，减少关键信息丢失；预测置信时激进剪枝，节省显存。
- 混合精度存储（FP16/INT8）可有效压缩KV缓存，结合淘汰策略进一步降低内存占用，适合资源受限的在线服务部署。
- 金字塔逐层预算分配（浅层保留较多token，深层保留较少）可平衡信息保留与计算开销，可结合具体模型结构调整各层预算比例。
- 保护最近窗口（如固定最近若干token）保证局部连贯性，与置信度驱动预算结合，简单有效，可直接应用于现有Agent系统。